#низкая задержка

'На Кубке Райдер 2025 HPE развернула сеть и локальное облако для обработки живых потоков с камер и сенсоров, обеспечив оперативные решения и инференс на месте.'

'Cache-to-Cache (C2C) дает LLM возможность обмениваться смыслом через KV-Cache, улучшая точность на несколько процентов и снижая задержку примерно в 2 раза по сравнению с текстовым обменом.'

'MiniMax-M2 — компактная MoE с открытыми весами на Hugging Face, оптимизированная под кодирование и агентные цепочки с примерно 10B активных параметров на токен и обещанной скоростью ~2x при ~8% стоимости Claude Sonnet.'

'Liquid AI представила LFM2-Audio-1.5B — компактную энд-то-энд аудио‑языковую модель, демонстрирующую задержку менее 100 мс и поддержку ASR, TTS и разговорных агентов.'

'VoXtream — открытый full-stream zero-shot TTS, который начинает воспроизводить речь после первого слова и обеспечивает низкую первую пакетную задержку для реального времени.'

'Deepdub представила Lightning 2.5 — модель для реального времени с 2.8x приростом пропускной способности и задержкой около 200 мс, оптимизированную под NVIDIA GPU.'

'Liquid AI выпустила LFM2-VL: две открытые мультимодальные модели 450M и 1.6B, оптимизированные для быстрого локального инференса на устройствах.'

Kyutai представила инновационную стриминговую TTS-модель с 2 миллиардами параметров и задержкой 220 мс, обученную на 2,5 миллиона часов аудио. Модель поддерживает одновременную работу с несколькими пользователями и подходит для реального времени.

Microsoft разработала интегрированную в Azure Cosmos DB систему векторного поиска на базе DiskANN, обеспечивающую масштабируемость, низкую задержку и экономичность для семантических запросов.

Китайские исследователи представили LLaMA-Omni2 — модульную модель речи, обеспечивающую реальное время и минимальную задержку в голосовом взаимодействии с большими языковыми моделями.